Diffusion Model
生成モデル
Stable Diffusion
画像生成
確率過程
確率
偏微分方程式
表現学習
フーリエ変換とラプラス変換
スペクトル分析
拡散モデル ---データ生成技術の数理--
1 生成モデル
2 拡散モデル
3 連続時間化拡散モデル
4 拡散モデルの発展
5 アプリケーション
拡散モデルの推移
https://honto.jp/netstore/pd-book_32243675.html
Stable Diffusionの周辺技術がまとまったサイト「sdtools」が公開
https://sdtools.org
https://twitter.com/Yamkaz/status/1617009197069266945?s=20&t=dydUqbjBZJjLOVJTtGHk9Q
colabで動かすdiffusion
https://note.com/te_ftef/n/nef42662c7c02
拡散モデルの基礎
https://twitter.com/mi141/status/1591720694777511937?s=20&t=2mWBQBiMOKCNZVoGQ5ujZA
DiffusionによるText2Imageの系譜と生成画像が動き出すまで
https://speakerdeck.com/nhamanasu/diffusionniyorutext2imagenoxi-pu-tosheng-cheng-hua-xiang-gadong-kichu-sumade
すごいスライドだ、どんだけ時間かけたんだろう
物理も数学もふんだんでめちゃくちゃ面白い、岡野原さんの本も読んでみよう
Stable Diffusion を基礎から理解したい人向け論文攻略ガイド【無料記事】
https://ja.stateofaiguides.com/20221012-stable-diffusion/
Diffusion Models are Minimax Optimal Distribution Estimators
https://arxiv.org/abs/2303.01861
これマジですごいな。この前まで数十〜百生成ステップで凄いなと思ってたのが、1になった。生成画像の品質も高い
https://twitter.com/AkiraTOSEI/status/1631845862799454209?s=20
拡散モデルが話題ですが,拡散モデルは分布推定の意味でミニマックス最適な推定誤差を達成可能であることを示しました.
https://twitter.com/btreetaiji/status/1632619951860363264?s=20
Erasing Concepts from Diffusion Models
https://twitter.com/_akhaliq/status/1635453982133964803?s=20
Simplifying, Stabilizing and Scaling Continuous-Time Consistency Models
拡散モデル高速化
https://arxiv.org/abs/2410.11081
ポテンシャル関数が強凸の場合,順過程は任意の初期分布 𝑝₀ が平衡状態 𝜇* に収束する過程と理解できますが,平衡状態 𝜇* から初期分布 𝑝₀ に戻る逆過程はポテンシャル関数の対称性が自発的に破れないと成立しないように見えます.この理解は合っていますでしょうか?
https://x.com/hayashiyus/status/1848890283037258111
Tutorial on Diffusion Models for Imaging and Vision
https://arxiv.org/pdf/2403.18103
【拡散モデル勉強会】Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task
https://www.docswell.com/s/DeepLearning2023/ZP22E7-2024-09-25-161528#p1
現実世界の構成性を鑑みると、out-of-distributionのデータに対して、モデルの構成的汎化能力が重要であるが、どのサンプルで可能でどのサンプルで不可能かはよくわかっていない
人間が世界を色や形などプリミティブな要素に分解して、認識し、またそれを組み合わせて新しいものを作り出す
「構成的能力は乗数的に現れる」
訓練データで概念クラスが隣接しない場合、構成的汎化に失敗する
Object-Centric Learning with Slot Attention
https://deepsquare.jp/2020/07/slot-attention/
拡散モデル勉強会
https://www.docswell.com/s/DeepLearning2023/K7RE4N-2024-10-25-144015#p13
https://www.youtube.com/watch?v=zc5NTeJbk-k
拡散モデルのロボティクス応用
https://www.docswell.com/s/okada-masashi/Z7RY47-2024-07-18-183629#p7
Diffusion is spectral autoregression
https://sander.ai/2024/09/02/spectral-autoregression.html
(Blog post) Diffusion is spectral autoregression
https://speakerdeck.com/shumpei777/blog-post-diffusion-is-spectral-autoregression?slide=2